#pip install -r requirements.txt

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns
from sklearn.decomposition import PCA
import geopandas as gpd
from prince import mca
import prince 
import requests
import io
import importlib
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.impute import KNNImputer
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge, LinearRegression
import statsmodels.api as sm
from sklearn.ensemble import StackingRegressor, RandomForestRegressor

from scripts import clean_data as cld
from scripts import imputation as ipt
from scripts import data_analysis as dtn
from scripts import stats_desc as std
from scripts import regression as rgp

file_path ="https://minio.lab.sspcloud.fr/emile/Deep_seas/20177113_DS_D3.1-SEAS2-dataset-2022_rev1.csv"
df = pd.read_csv(file_path, sep=';', encoding='utf-8', low_memory=False, na_values=" ", decimal=',')
df.describe()

df.shape

(56014, 191)

variables = ["COUNTRY","SD_1", "SD_2", "SD_4","SD_6", "SD_7", 
             "SD_8","SD_9", "SD_10", "sd_20month" ,"social_class",
             "bsqf_alc", "f_1b", "RSOD_5a", "RSOD_5b", "RSOD_5c", "cbsqf_beer", "cbsqf_spir", "cbsqf_wine",
             "RSOD_5d", "RSOD_2b", "RSOD_7b", "CH_1", "WB_1", "WB_2", "WB_3"]
data = df[variables]

data.dtypes

COUNTRY           int64
SD_1              int64
SD_2              int64
SD_4              int64
SD_6              int64
SD_7            float64
SD_8              int64
SD_9              int64
SD_10             int64
sd_20month      float64
social_class      int64
bsqf_alc        float64
f_1b              int64
RSOD_5a         float64
RSOD_5b         float64
RSOD_5c         float64
cbsqf_beer      float64
cbsqf_spir      float64
cbsqf_wine      float64
RSOD_5d         float64
RSOD_2b         float64
RSOD_7b         float64
CH_1              int64
WB_1              int64
WB_2              int64
WB_3              int64
dtype: object

#Les pays de la base sont codés de 10 à 43, on les associe à leur nom via le dictionnaire country_mapping de clean_data
if pd.api.types.is_numeric_dtype(data['COUNTRY']):
    data['COUNTRY'] = data['COUNTRY'].map(cld.country_mapping)
else:
    print("Le mapping a déjà été effectué, on ne fait rien.") #Pour éviter de remplacer par NA si on exécute ce code 2 fois par erreur

C:\Users\Utilisateur\AppData\Local\Temp\ipykernel_22520\1535886202.py:3: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  data['COUNTRY'] = data['COUNTRY'].map(cld.country_mapping)

cld.barplot_bycntry(data)

# On crée une variable avec les taux de changes de 2020 
data['EXCHANGE_RATE_TO_EUR'] = data['COUNTRY'].map(cld.conversion_rates)

# On convertit la variable 'sd_20month'
data['sd_20month_EUR_2020'] = data['sd_20month'] * data['EXCHANGE_RATE_TO_EUR']

C:\Users\Utilisateur\AppData\Local\Temp\ipykernel_22520\1698145111.py:2: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  data['EXCHANGE_RATE_TO_EUR'] = data['COUNTRY'].map(cld.conversion_rates)
C:\Users\Utilisateur\AppData\Local\Temp\ipykernel_22520\1698145111.py:5: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  data['sd_20month_EUR_2020'] = data['sd_20month'] * data['EXCHANGE_RATE_TO_EUR']

# Barplot des salaires mensuels moyens convertis en €
cld.barplot_bycntry(data, colonne_y='sd_20month_EUR_2020',y_name= "revenu mensuel moyen par pays (en €)")

# Création d'un variable Valeurs brutes de parité (PPA) et conversion des salaires en euros PPA
data['PPA'] = data['COUNTRY'].map(cld.ppa_brut)
data['sd_20month_EUR_2020_PPA']= data['sd_20month'] / data['PPA']

C:\Users\Utilisateur\AppData\Local\Temp\ipykernel_22520\581596296.py:2: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  data['PPA'] = data['COUNTRY'].map(cld.ppa_brut)
C:\Users\Utilisateur\AppData\Local\Temp\ipykernel_22520\581596296.py:3: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  data['sd_20month_EUR_2020_PPA']= data['sd_20month'] / data['PPA']

# Affiche le tableau des données manquantes par variable (en %)
stats_na = cld.tableau_na(data)
stats_na

#version plus visuelle du tableau précédent
cld.visu_na(data)

#pourcentages de valeurs manquantes pour la quantité d'alcool consommée dans les 12 derniers mois (en cl)
cld.tableau_na_pays(data, "bsqf_alc")

#Peu de valeurs manquantes dans la consommation d'alcool en cl d'alcool pur bsqf_alc (moins de 2% sauf Islande, Allemagne et Malte moins de 3.7%) 
# donc on peut supprimer les individus qui présentent des valeurs manquantes pour cette variable sans créer de biais de sélection.

data= data.dropna(subset=['bsqf_alc'])
sum(data['bsqf_alc'].isna())

0

variables = ['RSOD_5a', 'RSOD_5b', 'RSOD_5c', 'RSOD_5d']

#Pourcentage d'observations où TOUTES les variables RSOD_5(a à d) sont manquantes
pourcentage_observations_manquantes_communes = data[variables].isna().all(axis=1).mean()

print(f"Nombre d'observations où toutes les variables sont manquantes : {pourcentage_observations_manquantes_communes}")

Nombre d'observations où toutes les variables sont manquantes : 0.45266117549519674

# Identification et suppression des colonnes RSOD_5(a à d)
cdrop = ["RSOD_5a", "RSOD_5b", "RSOD_5c", "RSOD_5d"]
data = data.drop(columns=cdrop)

print(f"Colonnes supprimées : {cdrop}")

Colonnes supprimées : ['RSOD_5a', 'RSOD_5b', 'RSOD_5c', 'RSOD_5d']

#regardons si, de façon cohérente, les valeurs manquantes de RSOD_2b sont incluses dans celles de RSOD_7b qui en a davantage

print(f"NA uniquement dans 2b: {(data['RSOD_2b'].isna() & data['RSOD_7b'].notna()).sum()}")
print(f"NA uniquement dans 7b: {(data['RSOD_2b'].notna() & data['RSOD_7b'].isna()).sum()}")

NA uniquement dans 2b: 0
NA uniquement dans 7b: 13000

# Identification et suppression de la colonne RSOD_7b
cdrop = ["RSOD_7b"]
data = data.drop(columns=cdrop)

#Problème: On a remarqué en ouvrant la base sur excel (ça n'est donc pas une erreur d'interprétation des séparateurs) qu'il y a à la fois des 0 et des NA pour ces variables
#Alors que ce sont des catégorielles sans catégories 0 D'APRES LE CODEBOOK
#Comptons le nombre de 0 et de valeurs manquantes pour RSOD_2b
print(f"nombre de d'individus ayant RSOD_2b = 0: {data.loc[data['RSOD_2b']==0,'RSOD_2b'].count()}",
f", nombre de valeurs manquantes pour RSOD_2b: {data['RSOD_2b'].isna().sum()}")

nombre de d'individus ayant RSOD_2b = 0: 5286 , nombre de valeurs manquantes pour RSOD_2b: 14650

# Le codebook pourrait-il se tromper ?
# Essayons de voir combien d'individus correspondent à chaque code catégoriel de 1 à 10 possible:
print(data['RSOD_2b'].value_counts(dropna=False).sort_index())

RSOD_2b
0.0     5286
1.0      939
2.0      963
3.0     2597
4.0     4244
5.0     5590
6.0     3055
7.0     4499
8.0     6383
9.0     7277
NaN    14650
Name: count, dtype: int64

#On regarde quelle est la distribution de la variable f_1b
print(data['f_1b'].value_counts(dropna=False).sort_index())

f_1b
1      3703
2      4461
3      5614
4     13722
5      8881
6      3581
7      4341
8      4583
9      1311
10     2399
11     2887
Name: count, dtype: int64

print(f"Le nombre d'individus où RSOD_2b=0 et f_1b=10 ou 11 est : {data.loc[(data['RSOD_2b']==0) & ((data['f_1b'] == 10) |  (data['f_1b'] == 11)), 'RSOD_2b'].count()}",
f", Le nombre d'individus ou RSOD_2b=0 est {data['RSOD_2b'].value_counts(dropna=False)[0]}")

Le nombre d'individus où RSOD_2b=0 et f_1b=10 ou 11 est : 5286 , Le nombre d'individus ou RSOD_2b=0 est 5286

# Table de contingence de la fréquance générique de consommation d'alcool 
# et de la fréquence de + de 4 verres
#NB: On est obligé de remplacer les RSOD_2b manquants par 0, ce qui est une limite à notre analyse
cld.trace_table_contingence(data)

# On compte les NA
print(f"Nombre de NA dans RSOD_2b : {data['RSOD_2b'].isna().sum()}")

Nombre de NA dans RSOD_2b : 14650

#création d'une variable valant 1 si RSOD_2b est manquante et 0 sinon
data['RSOD_2bisna'] = data['RSOD_2b'].isna().astype(int)

# Diagrammes circulaires des parts de valeurs manquantes pour RSOD_2b selon le genre

labels_sexe = {1.0: "Homme", 2.0: "Femme", 3.0: "Autre"}
source_sexe = "Source : SEAS-2 | Champ : 33 pays européens\nLecture : 25.9% des hommes interrogés n'ont pas répondu à la question 'A quelle fréquence buvez-vous plus de 4 verres d'alcool?'"

cld.trace_camemberts_na(data, var_na='RSOD_2bisna', var_groupe='SD_1', 
                         dict_labels=labels_sexe, 
                         titre_general="Répartition des valeurs manquantes (RSOD_2b) par Genre",
                         source_texte=source_sexe)

# source et lecture spécifique
lecture = ("Source : SEAS-2 | Champ : 33 pays européens\n"
           "Lecture :  Parmi les 10% des interrogés qui déclarent consommer le moins d'alcool (D1),\n"
    "seuls 4.8% ne répondent pas à la question 'A quelle fréquence buvez-vous plus de 4 verres d'alcool?'")

# Crée barres empilées avec le % de répondants à la fréquence de consommation excessive d'alcool (4 verres et +) par déciles de la distribution de consommation d'alcool 
cld.trace_barplot_na(data, var_quanti='bsqf_alc', var_na='RSOD_2bisna', source_texte=lecture)

seuils = data['bsqf_alc'].quantile([0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9])
print(seuils)

0.1       1.375
0.2      18.910
0.3      53.000
0.4     117.900
0.5     216.750
0.6     370.510
0.7     612.000
0.8    1061.150
0.9    2206.948
Name: bsqf_alc, dtype: float64

labels_social = {1.0: "Blue collar", 2.0: "White collar", 3.0: "Manager", 
                 4.0: "Business person", 5.0: "Other", 9.0: "No response"}
source_social = (
    "Source : The Standard European Alcohol Survey – Wave 2\n"
    "Champ : 33 pays européens\n"
    "Lecture : 23% des interrogés déclarant occuper un emploi d'ouvrier/employé (col bleu) ne répondent pas à la question\n"
    "'A quelle fréquence buvez-vous plus de 4 verres d'alcool?'"
)
cld.trace_camemberts_na(data, var_na='RSOD_2bisna', var_groupe='social_class', 
                         dict_labels=labels_social, 
                         titre_general="Répartition des NA (RSOD_2b) par Classe Sociale",
                         source_texte=source_social)

# Ratio de valeurs manquantes par pays pour RSOD_2b
cld.tableau_na_pays(data, var="RSOD_2b")

# 1
# On regarde le nombre d'individu qui consomme moins de 40g par an soit 4 verre d'alcool selon notre critère de conversion, 
# ceux là sont forcément dans la catégorie 0 de RSOD_2b

print(len(data.loc[data['RSOD_2b'].isna() & (data['bsqf_alc'] < 40/7.89)])) # On divise par la masse volumique de l'alcool pur en gramme/cl car bsqf_alc est en cl

#On remplace ces valeurs manquantes de RSOD_2b par 0 
data['RSOD_2b'] =data['RSOD_2b'].copy()
data.loc[data['RSOD_2b'].isna() & (data['bsqf_alc'] < 40/7.89),'RSOD_2b'] = 0

1591

#2
print(len(data.loc[data['RSOD_2b'].isna() & (data['bsqf_alc'] > 40/7.89) & (data['f_1b']==9)]))
data.loc[data['RSOD_2b'].isna() & (data['bsqf_alc'] > 40/7.89) & (data['f_1b']==9),'RSOD_2b'] = 9

146

#distribution du nombre de mineur par foyer
cld.afficher_tableau_distribution(data, "Environ 24 000 interrogés, soit 55.2% des interrogés vivent dans un foyer où n'habite aucun mineur.")

# Barplot de la consommation d'alcool moyenne annuel par individus ayant le même nombre de mineur dans leur foyer
cld.tracer_barplot_vsbscqf(data, "Un répondant vivant dans un foyer sans mineur consomme en moyenne environ 10L (1000cl) d'alcool pur par an.", var_x="SD_7", var_y="bsqf_alc")

missing_by_country = data.groupby('COUNTRY').apply(lambda x: x.isna().mean()) #on le remet car data a changé 
missing_by_country['sd_20month']
observation_count = data.groupby('COUNTRY').size()

# Ajouter le nombre d'observation par pays
missing_by_country['Observation_Count'] = observation_count

print(missing_by_country.loc[:, ["sd_20month", "Observation_Count"]])

                   sd_20month  Observation_Count
COUNTRY                                         
Austria              0.262257               3039
Belgium              0.251678               1490
BosniaHerzegovina    0.146015               1493
Bulgaria             0.208139               2998
Catalunya            0.295728               1498
Croatia              0.223632               1498
Cyprus               0.156691               1487
Czech Republic       0.168343               1491
Denmark              0.245198               1562
Estonia              0.524476               2145
Finland              0.166334               1503
France               0.128725               1678
Germany              0.153220               1475
Greece               0.230263               1520
Hungary              0.174987               1983
Iceland              0.094810               1445
Ireland              0.215962               1491
Italy                0.210280               1498
Latvia               0.377837               1498
Lithuania            0.226880               1503
Luxembourg           0.252168               1499
Malta                0.188187               1456
Moldova              0.280374               1498
Netherlands          0.250674               1484
Norway               0.267748               1479
Poland               0.134060               1559
Portugal             0.199331               1495
Romania              0.120989               1496
Serbia               0.215436               1490
Slovakia             0.248493               1493
Slovenia             1.000000               1481
Spain                0.149635               1644
Sweden               0.194926               1616
United Kingdom       0.181575               1498

C:\Users\Utilisateur\AppData\Local\Temp\ipykernel_22520\1508566044.py:1: FutureWarning: DataFrameGroupBy.apply operated on the grouping columns. This behavior is deprecated, and in a future version of pandas the grouping columns will be excluded from the operation. Either pass `include_groups=False` to exclude the groupings or explicitly select the grouping columns after groupby to silence this warning.
  missing_by_country = data.groupby('COUNTRY').apply(lambda x: x.isna().mean()) #on le remet car data a changé

# 1.Voir combien de personnes ont été interrogées par pays
display(cld.tableau_effectifs_pays(data))

# 2. Voir le taux de non-réponse au revenu (sd_20month)
display(cld.tableau_na_pays(data, var="sd_20month"))

#diagramme de la moyenne de consommation d'alcool par pays (en cl d'alcool pur par an)
# lecture spécifique pour ce graphique
note_lecture = (
    "Source : The Standard European Alcohol Survey – Wave 2\n"
    "Champ : 33 pays européens\n"
    "Lecture : En moyenne en 2019, les répondants irlandais consommaient environ 3000 cl\n"
    "soit 30L d'alcool pur par an."
)

# Appel de la fonction 
cld.barplot_bycntry(
    data, 
    colonne_y='bsqf_alc', 
    y_name="consommation d'alcool pur par an (cl)", 
    titre="Consommation annuelle moyenne d'alcool pur par pays",
    source = note_lecture
)

#URL du GeoJSON - fond de carte europe
url = "https://raw.githubusercontent.com/datasets/geo-boundaries-world-110m/master/countries.geojson"

try:
    response = requests.get(url)
    #on lit le contenu JSON
    world = gpd.read_file(io.StringIO(response.text))
except Exception as e:
    print(f"Erreur : {e}")


world.columns = [c.upper() for c in world.columns]
europe = world[world['CONTINENT'] == 'Europe'].copy() # Filtrer l'Europe

# Fusion fond de carte/ données
# On associe les COUNTRY de notre dataset aux NAME de Geojson
map_data = europe.merge(pd.DataFrame(data), left_on='NAME', right_on='COUNTRY', how='left')

europe = europe.set_geometry('GEOMETRY')

# --- CARTE 1 : ALCOOL ---
texte_alc = (
    "Source : The Standard European Alcohol Survey – Wave 2\n"
    "Champ : 33 pays européens\n"
    "Lecture : En moyenne en 2019, les répondants irlandais consommaient environ 3000 cl soit 30L d'alcool pur par an."
)
cld.trace_carte_europe(data, europe, 'bsqf_alc', 
                        "Consommation moyenne annuelle d'alcool par pays", 
                        "Consommation annuelle moyenne (cl d'alcool pur)", texte_alc)

# CARTE COMPARATIVE PPA vs nomial
txt_a = (
    "Source : The Standard European Alcohol Survey – Wave 2\n"
    "Champ : 33 pays européens\n"
    "Lecture : En moyenne, en 2019, les répondants hongrois avaient\n un salaire mensuel de 670€ environ."
)
txt_b = (
    "Source : The Standard European Alcohol Survey – Wave 2 / Eurostat\n"
    "Champ : 33 pays européens\n"
    "Lecture : En moyenne, en 2019, les répondants hongrois avaient\n un salaire mensuel de 1000€ PPA environ.\n(Le salaire PPA ajuste le montant selon le coût de la vie local)."
)
cld.compare_cartes_ppa(data, europe, 'sd_20month_EUR_2020', 'sd_20month_EUR_2020_PPA', txt_a, txt_b)

data_na = data.copy()
data_na['sd_20month_EUR_2020'] = data_na['sd_20month_EUR_2020'].isna()
data_na['RSOD_2b'] = data_na['RSOD_2b'].isna()

# CARTE 4 : VALEURS MANQUANTES (NA) 
texte_na = (
    "Source : The Standard European Alcohol Survey – Wave 2\n"
    "Champ : 33 pays européens\n"
    "Lecture : En moyenne, 15% des allemands interrogés n'ont pas donné leur salaire mensuel."
)

cld.trace_carte_europe(
    data=data_na, # On utilise ici le dataframe des moyennes de NA
    europe=europe, 
    colonne='sd_20month_EUR_2020', 
    titre="Ratio national moyen de valeurs manquantes pour la variable salaire mensuel sd_20month", 
    label_legende="Ratio de valeurs manquantes", 
    texte_info=texte_na
)

country = ['France', 'Poland', 'Iceland', 'Bulgaria']
data1 = data[data['COUNTRY'].isin(country)].copy()

#style général pour l'affichage des stats desc
sns.set_theme(style="whitegrid", context="talk")

vars_audit = [
    'SD_1', 'SD_2', 'SD_9', 'social_class',  
    'sd_20month_EUR_2020',                            
    'bsqf_alc', 'RSOD_2b',      
]
std.tableau_qualite_par_pays(data1, vars_audit)

==================================================
 RAPPORT QUALITÉ DES DONNÉES PAR PAYS
==================================================

vars_audit= ['WB_1', 'WB_2', 'WB_3']
codes_refus = [6]
std.tableau_qualite_par_pays(data1, vars_audit, codes_refus)

==================================================
 RAPPORT QUALITÉ DES DONNÉES PAR PAYS
==================================================

vars_audit = [
    'SD_1', 'SD_2', 'SD_9', 'social_class',  
    'sd_20month_EUR_2020',                            
    'bsqf_alc', 'WB_1', 'WB_2', 'WB_3', 'RSOD_2b',      
]
std.heatmap_manquants(data1, vars_audit)

# Matching des variables
map_marital = {
    1: "Married/Living together",
    2: "Married/Living apart",
    3: "Never married",
    4: "Divorced",
    5: "Widowed"
}

map_residence = {
    1: "Village/Farm",
    2: "Small city (<50k)",
    3: "Medium city (50k-250k)",
    4: "Large city (250k-1M)",
    5: "Very large city (>1M)"
}

map_education = {
    1: "Primary",
    2: "Secondary",
    3: "Vocational",
    4: "University/Higher",
    5: "No schooling"
}

map_pro_status = {
    1: "Active",
    2: "Non-active"
}

map_social_class = {
    1: "Blue collar",
    2: "White collar",
    3: "Manager/Professional",
    4: "Business person",
    5: "Other",
    9: "No answer"
}


data1['Marital_Label'] = data1['SD_4'].map(map_marital)
data1['Residence_Label'] = data1['SD_8'].map(map_residence)
data1['Education_Label'] = data1['SD_9'].map(map_education)
data1['Activity_Label'] = data1['SD_10'].map(map_pro_status)
data1['Class_Label'] = data1['social_class'].map(map_social_class)

std.analyse_cat(data1, 'Marital_Label', 'Statut Marital')
std.analyse_cat(data1, 'Residence_Label', 'Type de Résidence')
std.analyse_cat(data1, 'Education_Label', "Niveau d'Éducation")
std.analyse_cat(data1, 'Activity_Label', 'Statut Professionnel')
std.analyse_cat(data1, 'Class_Label', 'classe sociale')

========================================
 ANALYSE : Statut Marital (Marital_Label)
========================================
>>> Tableau des Pourcentages (%) :
Marital_Label  Divorced  Married/Living apart  Married/Living together  \
COUNTRY                                                                  
Bulgaria            8.9                   5.0                     52.7   
France              8.5                   4.1                     51.9   
Iceland             6.2                   2.1                     58.0   
Poland              6.4                   7.3                     63.0   

Marital_Label  Never married  Widowed  
COUNTRY                                
Bulgaria                31.2      2.2  
France                  34.3      1.3  
Iceland                 32.6      1.2  
Poland                  22.1      1.2  

>>> Tableau des Effectifs (N) :
Marital_Label  Divorced  Married/Living apart  Married/Living together  \
COUNTRY                                                                  
Bulgaria            267                   149                     1580   
France              142                    69                      871   
Iceland              89                    30                      838   
Poland              100                   114                      982   

Marital_Label  Never married  Widowed  
COUNTRY                                
Bulgaria                 936       66  
France                   575       21  
Iceland                  471       17  
Poland                   344       19

========================================
 ANALYSE : Type de Résidence (Residence_Label)
========================================
>>> Tableau des Pourcentages (%) :
Residence_Label  Large city (250k-1M)  Medium city (50k-250k)  \
COUNTRY                                                         
Bulgaria                         20.6                    21.8   
France                            9.2                    22.1   
Iceland                           9.6                    37.9   
Poland                           20.3                    26.6   

Residence_Label  Small city (<50k)  Very large city (>1M)  Village/Farm  
COUNTRY                                                                  
Bulgaria                      21.3                   29.7           6.5  
France                        35.0                    6.4          27.3  
Iceland                       42.5                    1.9           8.2  
Poland                        24.2                   10.1          18.8  

>>> Tableau des Effectifs (N) :
Residence_Label  Large city (250k-1M)  Medium city (50k-250k)  \
COUNTRY                                                         
Bulgaria                          618                     655   
France                            155                     371   
Iceland                           138                     548   
Poland                            317                     414   

Residence_Label  Small city (<50k)  Very large city (>1M)  Village/Farm  
COUNTRY                                                                  
Bulgaria                       638                    891           196  
France                         587                    107           458  
Iceland                        614                     27           118  
Poland                         378                    157           293

========================================
 ANALYSE : Niveau d'Éducation (Education_Label)
========================================
>>> Tableau des Pourcentages (%) :
Education_Label  No schooling  Primary  Secondary  University/Higher  \
COUNTRY                                                                
Bulgaria                  0.2      0.3        1.5               59.1   
France                    0.1      0.6       18.8               56.0   
Iceland                   0.1      4.9        9.9               69.8   
Poland                    0.3     10.0       35.5               45.2   

Education_Label  Vocational  
COUNTRY                      
Bulgaria               38.9  
France                 24.6  
Iceland                15.2  
Poland                  9.1  

>>> Tableau des Effectifs (N) :
Education_Label  No schooling  Primary  Secondary  University/Higher  \
COUNTRY                                                                
Bulgaria                    6        8         46               1773   
France                      1       10        316                939   
Iceland                     2       71        143               1009   
Poland                      4      156        553                704   

Education_Label  Vocational  
COUNTRY                      
Bulgaria               1165  
France                  412  
Iceland                 220  
Poland                  142

========================================
 ANALYSE : Statut Professionnel (Activity_Label)
========================================
>>> Tableau des Pourcentages (%) :
Activity_Label  Active  Non-active
COUNTRY                           
Bulgaria          75.9        24.1
France            72.2        27.8
Iceland           72.7        27.3
Poland            74.1        25.9

>>> Tableau des Effectifs (N) :
Activity_Label  Active  Non-active
COUNTRY                           
Bulgaria          2275         723
France            1212         466
Iceland           1051         394
Poland            1155         404

========================================
 ANALYSE : classe sociale (Class_Label)
========================================
>>> Tableau des Pourcentages (%) :
Class_Label  Blue collar  Business person  Manager/Professional  No answer  \
COUNTRY                                                                      
Bulgaria            22.5              6.4                  23.4       24.1   
France              18.7              5.2                  22.5       27.8   
Iceland             11.6             12.3                  37.9       27.3   
Poland              25.8              3.1                  21.8       25.9   

Class_Label  Other  White collar  
COUNTRY                           
Bulgaria       8.8          14.7  
France         5.3          20.5  
Iceland        0.2          10.7  
Poland         3.7          19.6  

>>> Tableau des Effectifs (N) :
Class_Label  Blue collar  Business person  Manager/Professional  No answer  \
COUNTRY                                                                      
Bulgaria             675              192                   703        723   
France               314               88                   377        466   
Iceland              167              178                   548        394   
Poland               402               49                   340        404   

Class_Label  Other  White collar  
COUNTRY                           
Bulgaria       265           440  
France          89           344  
Iceland          3           155  
Poland          58           306

std.analyse_num(data1, 'SD_2', 'Âge des répondants')
std.analyse_num(data1, 'sd_20month_EUR_2020', 'Revenu Mensuel (en Euros)')

========================================
 ANALYSE : Âge des répondants (SD_2)
========================================
          Moyenne  Médiane  Ecart-Type   IQR  Min  Max   P10   P90
COUNTRY                                                           
Bulgaria    40.51     41.0       11.62  18.0   18   64  24.0  56.0
France      42.01     42.0       12.86  22.0   18   64  25.0  60.0
Iceland     40.04     38.0       11.56  14.0   18   64  26.0  56.0
Poland      39.91     40.0       12.78  20.5   18   64  22.0  58.0

c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1119: FutureWarning: use_inf_as_na option is deprecated and will be removed in a future version. Convert inf values to NaN before operating instead.
  with pd.option_context('mode.use_inf_as_na', True):
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)

========================================
 ANALYSE : Revenu Mensuel (en Euros) (sd_20month_EUR_2020)
========================================
          Moyenne  Médiane  Ecart-Type      IQR      Min       Max      P10  \
COUNTRY                                                                       
Bulgaria  1020.47   895.03      587.47   715.56    95.87   2300.85   409.04   
France    4041.78  3000.00     2743.40  3450.00  1500.00   9000.00  1500.00   
Iceland   5070.42  4869.73     2151.62  2130.51  1533.97  10080.35  1533.97   
Poland    1301.35  1175.25      592.81   940.20   264.43   2291.75   587.63   

              P90  
COUNTRY            
Bulgaria  2045.20  
France    9000.00  
Iceland   7304.60  
Poland    2291.75

c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1119: FutureWarning: use_inf_as_na option is deprecated and will be removed in a future version. Convert inf values to NaN before operating instead.
  with pd.option_context('mode.use_inf_as_na', True):
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)

std.preferences_alcool(data1)

std.ecart_hommes_femmes(data1)

std.evolution_par_age(data1)

c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1119: FutureWarning: use_inf_as_na option is deprecated and will be removed in a future version. Convert inf values to NaN before operating instead.
  with pd.option_context('mode.use_inf_as_na', True):
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1119: FutureWarning: use_inf_as_na option is deprecated and will be removed in a future version. Convert inf values to NaN before operating instead.
  with pd.option_context('mode.use_inf_as_na', True):
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\relational.py:441: FutureWarning: DataFrameGroupBy.apply operated on the grouping columns. This behavior is deprecated, and in a future version of pandas the grouping columns will be excluded from the operation. Either pass `include_groups=False` to exclude the groupings or explicitly select the grouping columns after groupby to silence this warning.
  sub_data = grouped.apply(agg, other).reset_index()
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\relational.py:441: FutureWarning: DataFrameGroupBy.apply operated on the grouping columns. This behavior is deprecated, and in a future version of pandas the grouping columns will be excluded from the operation. Either pass `include_groups=False` to exclude the groupings or explicitly select the grouping columns after groupby to silence this warning.
  sub_data = grouped.apply(agg, other).reset_index()
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\relational.py:441: FutureWarning: DataFrameGroupBy.apply operated on the grouping columns. This behavior is deprecated, and in a future version of pandas the grouping columns will be excluded from the operation. Either pass `include_groups=False` to exclude the groupings or explicitly select the grouping columns after groupby to silence this warning.
  sub_data = grouped.apply(agg, other).reset_index()
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\relational.py:441: FutureWarning: DataFrameGroupBy.apply operated on the grouping columns. This behavior is deprecated, and in a future version of pandas the grouping columns will be excluded from the operation. Either pass `include_groups=False` to exclude the groupings or explicitly select the grouping columns after groupby to silence this warning.
  sub_data = grouped.apply(agg, other).reset_index()

std.analyse_intensite_annuelle(data1, log_scale=True)

========================================
(a) INTENSITÉ ANNUELLE (bsqf_alc)
========================================
>>> Indicateurs de distribution :
            mean  median     iqr     p90      p95
COUNTRY                                          
Bulgaria  5429.0   660.1  2020.0  6420.9  14448.4
France     585.7   179.1   555.6  1434.7   2309.1
Iceland    242.6    60.0   181.6   577.3   1133.5
Poland    2627.6   537.3  1302.5  3555.6   6418.6

c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1119: FutureWarning: use_inf_as_na option is deprecated and will be removed in a future version. Convert inf values to NaN before operating instead.
  with pd.option_context('mode.use_inf_as_na', True):
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)
c:\Users\Utilisateur\Documents\Téléchargements\Anaconda\Lib\site-packages\seaborn\_oldcore.py:1075: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.
  data_subset = grouped_data.get_group(pd_key)

std.analyse_rsod_frequence(data1)

========================================
(d-1) FRÉQUENCE BINGE DRINKING (RSOD_2b)
========================================
Distribution des fréquences RSOD (%) :
RSOD_Simple  1 - 2 days a week  1 day in a month  2-3 days a month  \
COUNTRY                                                              
Bulgaria                  10.7               6.8              14.8   
France                     7.8               7.7              11.1   
Iceland                    6.3               3.4               7.7   
Poland                    19.0              14.0              15.4   

RSOD_Simple  2-5 days a year  3-4 days a week  5-6 days a week  \
COUNTRY                                                          
Bulgaria                12.4             11.7              7.2   
France                  16.2              6.1              1.1   
Iceland                 11.8              2.5              0.7   
Poland                  14.1              6.0              2.8   

RSOD_Simple  6-11 days a year  Every day  \
COUNTRY                                    
Bulgaria                 14.8        5.3   
France                   11.0        2.5   
Iceland                   5.7        0.8   
Poland                    9.7        2.5   

RSOD_Simple  I did not drink in the past 12 months  \
COUNTRY                                              
Bulgaria                                       4.9   
France                                        20.9   
Iceland                                       22.4   
Poland                                         5.0   

RSOD_Simple  a single day in the past 12 months  
COUNTRY                                          
Bulgaria                                   11.4  
France                                     15.6  
Iceland                                    38.7  
Poland                                     11.6

std.analyse_composition(data1)

========================================
(c) COMPOSITION DU PANIER (Mix Alcool)
========================================
>>> Mix Moyen (%) par Pays :
          Share_Beer  Share_Wine  Share_Spir
COUNTRY                                     
Bulgaria        37.1        31.2        31.7
France          43.8        42.6        13.6
Iceland         47.2        35.0        17.8
Poland          49.9        26.8        23.3

data = ipt.imputer_salaire_pays(data)

Début de l'imputation pour 4 pays...

--- Performances du modèle pour France ---
Score R² : 0.9512
RMSE : 0.14
--------------------------------------------

--- Performances du modèle pour Iceland ---
Score R² : 0.9315
RMSE : 0.13
--------------------------------------------

--- Performances du modèle pour Bulgaria ---
Score R² : 0.9182
RMSE : 0.18
--------------------------------------------

--- Performances du modèle pour Poland ---
Score R² : 0.9333
RMSE : 0.13
--------------------------------------------


--- Imputation terminée pour tous les pays ---

data = ipt.imputer_knn(data)

 Imputation terminée.

pays_selectionnes = ["France", "Bulgaria", "Poland", "Iceland"]
data = data[data["COUNTRY"].isin(pays_selectionnes)]
stats_na = cld.tableau_na(data)
stats_na

# Sélection des variables quantitatives 
quanti = data[[
    "SD_2",          # Âge 
    "SD_7",          # Nombre de mineurs au foyer 
    "sd_20month_EUR_2020",    # Revenu mensuel 
    "bsqf_alc",      # Consommation annuelle totale d'alcool 
    "cbsqf_beer",    # Consommation annuelle de bière(plafonnée) 
    "cbsqf_spir",    # Consommation annuelle de spiritueux (plafonnée) 
    "cbsqf_wine"     # Consommation annuelle de vin (plafonnée) 
]]

# Sélection des variables qualitatives 
quali = data[[
    "COUNTRY",       # Pays de résidence
    "SD_1",          # Genre 
    "SD_4",          # Statut matrimonial 
    "SD_6",          # vie seul ou non
    "SD_8",          # Type de lieu de résidence 
    "SD_9",          # Niveau d'éducation 
    "SD_10",         # Statut d'activité professionnelle 
    "social_class",  # Classe sociale auto-déclarée 
    "f_1b",          # Fréquence générique de consommation 
    "RSOD_2b",       # Fréquence de consommation de 4/6+ verres 
    "CH_1",          # Contact avec un gros buveur durant l'enfance 
    "WB_1",          # État de santé général 
    "WB_2",          # Bien-être psychologique 
    "WB_3"           # Satisfaction des relations sociales
]]

# On calcule l'ACP sur les quanti.colums/ variables quantitatives
pca_fr, feat_fr, cols_fr = dtn.calculer_acp_pays(data, "France", quanti.columns)

# Et on trace
if pca_fr is not None:
    dtn.trace_cercle_et_variance(pca_fr, cols_fr, "FRANCE")

meilleur_index1, meilleur_index2 = dtn.tracer_cos2_individus(data, "France", quanti.columns, pca_fr, n_top=10)

# On lève la limite sur le nombre de colonnes affichées
pd.set_option('display.max_columns', None)
# On affiche le profil / la ligne dans le dataset pour les individus ayant les plus gros cos2 pour l'axe 1 et 2
display(data.loc[[meilleur_index1]], data.loc[[meilleur_index2 ]] )

#On recode certaines variables pour rendre l'ACM plus facilement interprétable

# Recodage du REVENU (sd_20month)
# On le découpe en quartiles
df_acm= data.copy()
df_acm['sd_20month_EUR_2020'] = pd.qcut(df_acm['sd_20month_EUR_2020'], q=4, labels=['Revenu_quartile1', 'Revenu_quartile2', 'Revenu_quartile3','Revenu_quartile4'])
df_acm['RSOD_2b'] = df_acm['RSOD_2b'].apply(dtn.simplifier_rsod)#recodage du binge drinking en 4 catégories (cf Data_analysis.py)
df_acm['f_1b'] = df_acm['f_1b'].apply(dtn.recoder_f1b)#recodage de la fréquence de consommation d'alcool en 4 catégories

# Variables Actives
actives = [
    "sd_20month_EUR_2020", "f_1b", "RSOD_2b", "SD_9", "SD_1", 
    "social_class", "WB_1", "WB_2", "WB_3",]
    
# Variables Illustratives
illustratives = [ "SD_2", "SD_6", "SD_8"," SD_7", "cbsqf","cbsqf_beer", "cbsqf_spir", "cbsqf_wine"]

mca_fr = dtn.fait_acm(df_acm, "France", actives)
dtn.plot_var_acm(mca_fr, "France")

#graphe des contributions de chaque variables aux 2 premiers axes
dtn.tracer_graphe_liaisons(mca_fr, "France")

dtn.plot_modalites_acm_simple(df_acm,mca_fr, actives, "France")

# Nuage des individus dans le plan des deux premiers axes de l'ACM
dtn.plot_individus_acm(mca_fr, df_acm, "France", actives)

mca_bg = dtn.fait_acm(df_acm, "Bulgaria", actives)
dtn.plot_var_acm(mca_bg, "Bulgaria")

#graphe des contributions de chaque variables aux 2 premiers axes
dtn.tracer_graphe_liaisons(mca_bg, "Bulgarie")

dtn.plot_modalites_acm_simple(df_acm,mca_bg, actives, "Bulgaria")

# Nuage des individus dans le plan des deux premiers axes de l'ACM
dtn.plot_individus_acm(mca_bg, df_acm, "Bulgaria", actives)

mca_ic = dtn.fait_acm(df_acm, "Iceland", actives)
dtn.plot_var_acm(mca_ic, "Iceland")

#graphe des contributions de chaque variables aux 2 premiers axes
dtn.tracer_graphe_liaisons(mca_ic, "Iceland")

dtn.plot_modalites_acm_simple(df_acm,mca_ic, actives, "Iceland")

# Nuage des individus dans le plan des deux premiers axes de l'ACM
dtn.plot_individus_acm(mca_ic, df_acm, "Iceland", actives)

mca_pl = dtn.fait_acm(df_acm, "Poland", actives)
dtn.plot_var_acm(mca_pl, "Poland")

#graphe des contributions de chaque variables aux 2 premiers axes
dtn.tracer_graphe_liaisons(mca_pl, "Poland")

dtn.plot_modalites_acm_simple(df_acm,mca_pl, actives, "Poland")

dtn.plot_modalites_acm_simple(df_acm,mca_pl, actives, "Poland", xlim=(-1, 1.5), ylim=(-1, 1.5))

# Nuage des individus dans le plan des deux premiers axes de l'ACM
dtn.plot_individus_acm(mca_pl, df_acm, "Poland", actives)

variables_explicatives= [
    'SD_1',  # Genre
    'SD_2',  # Age
    'SD_4',  # Statut marital
    'SD_6',  # Taille ménage
    'SD_7',  # Mineurs
    'SD_8',  # Urbanisation
    'SD_9',  # Education
    'SD_10', # Activité pro
    "sd_20month_EUR_2020", # Revenu 
    "social_class", # Classe sociale
    "CH_1",  # Histoire familiale alcool
    "WB_1",  # Santé physique
    "WB_2",  # Santé mentale
    "WB_3"   # Satisfaction relationnelle
]
resultat = rgp.regression_iterative(
    df=data, 
    target_col='bsqf_alc', 
    all_feature_cols=variables_explicatives, 
    country_col='COUNTRY', 
    liste_pays=['France', 'Poland', 'Bulgaria', 'Iceland'],
    seuil_pvalue=0.05)

Démarrage de la sélection Stepwise pour 4 pays...  Pays : coef (p_value)

print("matrice des corrélations ACP France")
matrice_fr = dtn.obtenir_matrice_pca(data, "France", quanti.columns)
matrice_fr

matrice des corrélations ACP France

print("matrice des corrélations ACP Bulgarie")
matrice_bg = dtn.obtenir_matrice_pca(data, "Bulgaria", quanti.columns)
matrice_bg

matrice des corrélations ACP Bulgarie

# On calcule l'ACP sur les quanti.colums/ variables quantitatives
pca_bg, feat_bg, cols_bg = dtn.calculer_acp_pays(data, "Bulgaria", quanti.columns)

# Et on trace
if pca_bg is not None:
    dtn.trace_cercle_et_variance(pca_bg, cols_bg, "Bulgaria")

print("matrice des corrélations ACP Pologne")
matrice_Pl = dtn.obtenir_matrice_pca(data, "Poland", quanti.columns)
matrice_Pl

matrice des corrélations ACP Pologne

# On calcule l'ACP sur les quanti.colums/ variables quantitatives
pca_pl, feat_pl, cols_pl = dtn.calculer_acp_pays(data, "Poland", quanti.columns)

# Et on trace
if pca_fr is not None:
    dtn.trace_cercle_et_variance(pca_fr, cols_fr, "Poland")

print("matrice des corrélations ACP Islande")
matrice_Ic = dtn.obtenir_matrice_pca(data, "Iceland", quanti.columns)
matrice_Ic

matrice des corrélations ACP Islande

# On calcule l'ACP sur les quanti.colums/ variables quantitatives
pca_ic, feat_ic, cols_ic = dtn.calculer_acp_pays(data, "Iceland", quanti.columns)

# Et on trace
if pca_ic is not None:
    dtn.trace_cercle_et_variance(pca_ic, cols_ic, "Iceland")

	Respondent_Serial	INTRO_CATI	INTRO_CAWI	SD_1	SD_2	QSD_2	SD_3	REG_CAT	REG	REG_quota	...	cbsqf_alc	c1cbsqf_alc	cRSOD_1a	SD_20_income_type	SD_20	SD_20A	SD_20B	SD_20C	sd_20month	inc_mth
count	5.601400e+04	8810.0	47204.0	56014.000000	56014.000000	56014.000000	56014.000000	1516.000000	56014.000000	56014.000000	...	55483.000000	55483.000000	47091.000000	47831.000000	2.974800e+04	16068.000000	1.270800e+04	4.245600e+04	4.245600e+04	4.245600e+04
mean	5.782639e+08	1.0	1.0	1.518781	41.056486	2.073624	16.854197	1.509235	297.832167	1668.286946	...	777.543117	763.731402	158.253150	0.280508	4.147129e+05	1811.889283	6.781278e+04	3.108782e+05	4.172756e+04	1.965886e+04
std	1.637197e+09	0.0	0.0	0.501969	12.820770	0.872051	10.191840	0.982645	187.392295	997.947320	...	1922.011090	1740.420721	134.101578	0.449252	1.872299e+06	3628.254842	1.784258e+05	1.578282e+06	1.432824e+05	8.073478e+04
min	1.900000e+01	1.0	1.0	1.000000	18.000000	1.000000	1.000000	1.000000	1.000000	101.000000	...	-1.000000	-1.000000	0.000000	0.000000	1.875000e+02	0.000000	1.875000e+02	1.875000e+02	1.250000e+02	1.250000e+01
25%	1.737850e+04	1.0	1.0	1.000000	30.000000	1.000000	8.000000	1.000000	114.000000	801.000000	...	27.625000	27.625000	48.500000	0.000000	2.000000e+03	79.000000	1.950500e+03	2.000000e+03	1.500042e+03	6.944444e+02
50%	3.636400e+04	1.0	1.0	2.000000	41.000000	2.000000	16.000000	1.000000	325.000000	1606.000000	...	195.000000	195.000000	107.600000	0.000000	4.500000e+03	169.000000	5.250000e+03	4.500500e+03	3.000500e+03	1.400000e+03
75%	5.647075e+04	1.0	1.0	2.000000	52.000000	3.000000	26.000000	2.000000	411.000000	2502.000000	...	727.420000	727.420000	246.400000	1.000000	3.000000e+04	338.000000	3.499950e+04	3.250050e+04	1.125000e+04	4.500000e+03
max	7.600002e+09	1.0	1.0	3.000000	64.000000	3.000000	43.000000	4.000000	1477.000000	3409.000000	...	63119.632500	18250.000000	400.000000	1.000000	1.656000e+07	9999.000000	1.500000e+06	1.656000e+07	1.380000e+06	1.380000e+06

	Effectif	Pourcentage (%)
SD_7
0.000000	24130	55.190000
1.000000	10661	24.380000
2.000000	7035	16.090000
3.000000	1495	3.420000
4.000000	276	0.630000
5.000000	87	0.200000
6.000000	21	0.050000
7.000000	7	0.020000
8.000000	2	0.000000
9.000000	1	0.000000
10.000000	1	0.000000
11.000000	2	0.000000
12.000000	2	0.000000
13.000000	2	0.000000

Variable	France	Poland	Bulgaria	Iceland
const	1730.29 (0.000)	3220.98 (0.015)	25318.67 (0.000)	-64.86 (0.460)
SD_1	-299.61 (0.000)	-2313.62 (0.001)	-	-
SD_7	113.98 (0.004)	1375.59 (0.000)	-	-
social_class	-35.98 (0.003)	-	-	-
CH_1	-359.23 (0.000)	-	-	-
SD_8	-	602.35 (0.025)	-	37.26 (0.031)
SD_4	-	-	-1296.28 (0.023)	45.35 (0.001)
SD_6	-	-	-4660.17 (0.018)	-
SD_9	-	-	-2397.77 (0.038)	-42.52 (0.013)
WB_1	-	-	-	64.08 (0.001)
WB_2	-	-	-	94.63 (0.000)
R-carre	0.035	0.017	0.004	0.067

	SD_2	SD_7	sd_20month_EUR_2020	bsqf_alc	cbsqf_beer	cbsqf_spir	cbsqf_wine
SD_2	1.000596	-0.202580	0.127745	-0.043799	-0.081333	-0.058563	0.062788
SD_7	-0.202580	1.000596	0.058183	0.083295	0.086820	0.052204	0.043114
sd_20month_EUR_2020	0.127745	0.058183	1.000596	0.020459	0.008664	-0.000607	0.029069
bsqf_alc	-0.043799	0.083295	0.020459	1.000596	0.881673	0.700625	0.667198
cbsqf_beer	-0.081333	0.086820	0.008664	0.881673	1.000596	0.463107	0.387182
cbsqf_spir	-0.058563	0.052204	-0.000607	0.700625	0.463107	1.000596	0.342601
cbsqf_wine	0.062788	0.043114	0.029069	0.667198	0.387182	0.342601	1.000596

	SD_2	SD_7	sd_20month_EUR_2020	bsqf_alc	cbsqf_beer	cbsqf_spir	cbsqf_wine
SD_2	1.000334	-0.143752	0.032778	-0.013679	-0.004385	0.063876	-0.012236
SD_7	-0.143752	1.000334	-0.014369	0.019948	0.028491	-0.014644	-0.007708
sd_20month_EUR_2020	0.032778	-0.014369	1.000334	-0.015067	0.040315	0.016704	0.007130
bsqf_alc	-0.013679	0.019948	-0.015067	1.000334	0.185589	0.059917	0.064783
cbsqf_beer	-0.004385	0.028491	0.040315	0.185589	1.000334	0.252698	0.238649
cbsqf_spir	0.063876	-0.014644	0.016704	0.059917	0.252698	1.000334	0.165742
cbsqf_wine	-0.012236	-0.007708	0.007130	0.064783	0.238649	0.165742	1.000334

Sommaire¶

Partie I : Premier nettoyage¶

Partie II : Analyses et traitements¶

A. Statistiques descriptives¶

B. Imputation des données¶

Stratégie d'Imputation des Données Manquantes¶

1. Contexte et Approche Stratifiée par Pays¶

2. Imputation du Salaire mensuel ('sd_20month_EUR_2020): Approche par Modélisation Prédictive¶

3. Imputation de la Fréquence de Consommation et du Nombre d'enfant de moins de 18 ans dans le ménage : Approche par KNN¶

C. Analyses factorielles (ACM & ACP)¶

ACP/ACM France¶

ACM Bulgarie¶

ACM Islande¶

ACM Pologne¶

Partie III : Modélisation¶

Méthodologique : Sélection des Variables Significatives¶

Rapport d'Analyse des Déterminants de la Consommation d'Alcool (Approche Prudente)¶

1. Préambule Méthodologique¶

2. Analyse Détaillée¶

Bilan Global de la Modélisation¶

France¶

Pologne¶

Bulgarie¶

🇮🇸 Islande : Le lien Santé-Consommation ()¶

3. Synthèse Comparative¶

Annexes¶

Variable	Taux de manquants
COUNTRY	0.00%
SD_1	0.00%
SD_2	0.00%
SD_4	0.00%
SD_6	0.00%
SD_7	21.22%
SD_8	0.00%
SD_9	0.00%
SD_10	0.00%
sd_20month	24.20%
social_class	0.00%
bsqf_alc	0.95%
f_1b	0.00%
RSOD_5a	45.65%
RSOD_5b	45.65%
RSOD_5c	45.65%
cbsqf_beer	0.00%
cbsqf_spir	0.00%
cbsqf_wine	0.00%
RSOD_5d	45.65%
RSOD_2b	26.87%
RSOD_7b	50.24%
CH_1	0.00%
WB_1	0.00%
WB_2	0.00%
WB_3	0.00%
EXCHANGE_RATE_TO_EUR	0.00%
sd_20month_EUR_2020	24.20%
PPA	0.00%
sd_20month_EUR_2020_PPA	24.20%

	bsqf_alc
COUNTRY
Austria	0.018094
Belgium	0.009309
BosniaHerzegovina	0.004667
Bulgaria	0.002329
Catalunya	0.011873
Croatia	0.002663
Cyprus	0.008667
Czech Republic	0.006662
Denmark	0.012018
Estonia	0.005563
Finland	0.000000
France	0.017564
Germany	0.023179
Greece	0.001314
Hungary	0.012942
Iceland	0.036667
Ireland	0.006662
Italy	0.003989
Latvia	0.003989
Lithuania	0.009229
Luxembourg	0.004648
Malta	0.029333
Moldova	0.001333
Netherlands	0.013298
Norway	0.014000
Poland	0.000641
Portugal	0.004660
Romania	0.005319
Serbia	0.007989
Slovakia	0.007973
Slovenia	0.014637
Spain	0.006647
Sweden	0.007371
United Kingdom	0.005312

	RSOD_2b
COUNTRY
Austria	0.264232
Belgium	0.212081
BosniaHerzegovina	0.463496
Bulgaria	0.111741
Catalunya	0.333111
Croatia	0.172897
Cyprus	0.711500
Czech Republic	0.153588
Denmark	0.288732
Estonia	0.151515
Finland	0.114438
France	0.414779
Germany	0.266441
Greece	0.165789
Hungary	0.289460
Iceland	0.368858
Ireland	0.136821
Italy	0.279039
Latvia	0.160214
Lithuania	0.220892
Luxembourg	0.464977
Malta	0.281593
Moldova	0.461282
Netherlands	0.285714
Norway	0.207573
Poland	0.112251
Portugal	0.328428
Romania	0.278075
Serbia	0.231544
Slovakia	0.198928
Slovenia	0.320729
Spain	0.294404
Sweden	0.193069
United Kingdom	0.230307

	Nombre d'observations
COUNTRY
Austria	3,039
Bulgaria	2,998
Estonia	2,145
Hungary	1,983
France	1,678
Spain	1,644
Sweden	1,616
Denmark	1,562
Poland	1,559
Greece	1,520
Finland	1,503
Lithuania	1,503
Luxembourg	1,499
Latvia	1,498
Moldova	1,498
Italy	1,498
Croatia	1,498
Catalunya	1,498
United Kingdom	1,498
Romania	1,496
Portugal	1,495
Slovakia	1,493
BosniaHerzegovina	1,493
Czech Republic	1,491
Ireland	1,491
Belgium	1,490
Serbia	1,490
Cyprus	1,487
Netherlands	1,484
Slovenia	1,481
Norway	1,479
Germany	1,475
Malta	1,456
Iceland	1,445

	sd_20month
COUNTRY
Austria	0.262257
Belgium	0.251678
BosniaHerzegovina	0.146015
Bulgaria	0.208139
Catalunya	0.295728
Croatia	0.223632
Cyprus	0.156691
Czech Republic	0.168343
Denmark	0.245198
Estonia	0.524476
Finland	0.166334
France	0.128725
Germany	0.153220
Greece	0.230263
Hungary	0.174987
Iceland	0.094810
Ireland	0.215962
Italy	0.210280
Latvia	0.377837
Lithuania	0.226880
Luxembourg	0.252168
Malta	0.188187
Moldova	0.280374
Netherlands	0.250674
Norway	0.267748
Poland	0.134060
Portugal	0.199331
Romania	0.120989
Serbia	0.215436
Slovakia	0.248493
Slovenia	1.000000
Spain	0.149635
Sweden	0.194926
United Kingdom	0.181575

	N_Total				% Manquant (NaN)				% Refus (Refusal)
Pays	Bulgaria	France	Iceland	Poland	Bulgaria	France	Iceland	Poland	Bulgaria	France	Iceland	Poland
Variable
RSOD_2b	2998	1678	1445	1559	9.4	38.7	33.2	9.8	0.0	0.0	0.0	0.0
SD_1	2998	1678	1445	1559	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0
SD_2	2998	1678	1445	1559	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0
SD_9	2998	1678	1445	1559	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0
bsqf_alc	2998	1678	1445	1559	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0
sd_20month_EUR_2020	2998	1678	1445	1559	20.8	12.9	9.5	13.4	0.0	0.0	0.0	0.0
social_class	2998	1678	1445	1559	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0

	SD_2	SD_7	sd_20month_EUR_2020	bsqf_alc	cbsqf_beer	cbsqf_spir	cbsqf_wine
SD_2	1.000642	-0.186116	0.011105	-0.007241	0.013528	-0.004672	-0.048204
SD_7	-0.186116	1.000642	0.111931	0.083747	0.077937	0.081090	0.109368
sd_20month_EUR_2020	0.011105	0.111931	1.000642	0.023920	0.046927	0.041686	0.044042
bsqf_alc	-0.007241	0.083747	0.023920	1.000642	0.115154	0.194679	0.133516
cbsqf_beer	0.013528	0.077937	0.046927	0.115154	1.000642	0.414116	0.449896
cbsqf_spir	-0.004672	0.081090	0.041686	0.194679	0.414116	1.000642	0.430644
cbsqf_wine	-0.048204	0.109368	0.044042	0.133516	0.449896	0.430644	1.000642

	SD_2	SD_7	sd_20month_EUR_2020	bsqf_alc	cbsqf_beer	cbsqf_spir	cbsqf_wine
SD_2	1.000693	-0.068888	0.062011	-0.017617	-0.043122	-0.034362	0.056520
SD_7	-0.068888	1.000693	0.023438	0.012568	-0.016451	0.031155	0.028939
sd_20month_EUR_2020	0.062011	0.023438	1.000693	-0.011649	-0.045335	-0.014624	0.023352
bsqf_alc	-0.017617	0.012568	-0.011649	1.000693	0.783077	0.589530	0.546695
cbsqf_beer	-0.043122	-0.016451	-0.045335	0.783077	1.000693	0.241610	0.122356
cbsqf_spir	-0.034362	0.031155	-0.014624	0.589530	0.241610	1.000693	0.099296
cbsqf_wine	0.056520	0.028939	0.023352	0.546695	0.122356	0.099296	1.000693